Tương truyền vào năm Nhâm Ngọ (1702) đời chúa Nguyễn Phúc Chu, có một nhà sư Trung Quốc, tên tục là Lê Ban (?) đến hang đá phía đông núi Bà để ẩn tu [3]. Sau nhà sư mới đến lưng chừng núi "phát gai dại, vác đá to xây chỗ này, lấp chỗ kia, kết cỏ làm tranh, dựng lên am nhỏ, đặt tên là chùa Dũng Tuyền"[4].

Năm Quý Sửu (1733), chúa Nguyễn Phúc Chú vì mộ đức nhà sư nên ban hiệu là Tịnh Giác Thiện Trì Đại Lão Thiền Sư, và lệnh xây cất lại Dũng Tuyền tự thành một ngôi chùa lớn lợp ngói, đặt tên là Linh Phong Thiền Tự.

Theo "Linh Phong tự ký" của danh thần Đào Tấn, thì thiền sư viên tịch "trong thời loạn lạc" (ám chỉ thời Tây Sơn). Sau đó, các đồ chúng lập tháp thờ ở bên phải chùa vào năm Thái Đức (niên hiệu của Nguyễn Nhạc) thứ 8 (1785).

Đến năm Gia Long thứ 7 (1808), nghe lời Thánh mẫu là Hoàng hậu Hiếu Khương, nhà vua ban lệnh không cho ai được xâm phạm hay lấy các vật dụng ở chùa trong khi chờ đợi trùng tu. Tuy nhiên, mãi đến đời Minh Mạng, chùa Linh Phong mới được sửa sang lớn. Sử nhà Nguyễn kể: "một hôm nhà vua bị bệnh, vừa chợp mắt thì mộng thấy một vị sư già mặc áo vỏ cây đứng bên giường hầu quạt, đến sáng thì khỏi bệnh. Khi ngự triều, nhà vua đem chuyện ấy hỏi các quan, có người tâu rằng vị sư già đó có lẽ là Linh Phong thiền sư ở chùa Linh Phong ngày xưa". Vì vậy, năm 1826, nhà vua ban cho chùa này một chiếc áo cà sa mới may để thờ, đồng thời cho lấy 120 lượng bạc ở trong kho để trùng tu lại chùa [5].

Đến năm 1884-1885, dưới triều Kiến Phúc và Hàm Nghi, đại thần Đào Tấn "bỏ quan về Nam, ẩn giấu tích ở chùa Linh Phong để lánh loạn"[6].

Năm 1895, Đào Tấn được bổ làm Thượng thư bộ Công "[7]. vì muốn sửa sang ngôi cổ tự, nên ông đem việc ấy tâu lên Tây cung (chỉ mẹ vua Thành Thái). Nghe lời mẹ, vua Thành Thái bèn giao cho tỉnh thần 70 lạng bạc lo việc trùng tu chùa, đồng thời sai hiểu dụ dân trong tỉnh quyên góp thêm, đến tháng 8 (âm lịch) năm Đinh Dậu (1897) thì hoàn tất, và quang cảnh chùa lúc bấy giờ rất đẹp [7].

Sau đó trải qua thời gian và chiến tranh, ngôi cổ tự trên chỉ còn lại cổng tam quan ở mặt đông và một bửu tháp. Năm 2004, một ngôi chùa mới đã dựng trên vị trí của chùa Linh Phong ngày xưa.